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(57) Abstract 

In order to generate an improved image signal in motion assessment, 
an exact pixel determination of a moving vector is initially carried out, 
followed by a two-step interpolation filtering at exact subpixel resolution. The 
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Zur Erzeugung eines verbesserten Bildsignals bei der Bewe- 
gungsschatzung erfolgt zuerst eine pelgenaue Bestimrnung eines 
Bewegungsvektors und anschlieBend eine zweistufige Interpolationsfilterung 
auf Sub-Pelgenauigkeit. Die Interpolationskoeffizienten werden hinsichtlich 
einer Aliasing-Reduzierung gewahlt. Zur Interpolation werden mehr 

Nachbarbildpunkte herangezogen als bei iiblichen Interpolationsverfahren. Die Qualitat eines Pradiktionssignals fiir Bewegungsbilder l^Bt 
sich verbessem und damit die Codierungseffizienz steigem. 
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Die Erfindung geht aus von einem Verfahren zur Erzeugung 
eines verbesserten Bildsignals bei der Bewegungsschatzung 
von Bildsequenzen, insbesondere eines Pradiktionssignals fur 
Bewegtbilder mit bewegungskompensie render Pradiktion, wobei 
fur Bildblocke Bewegungsvektoren gebildet werden, die fur 
jeden Bildblock eines aktuellen Bildes die Position des zur 
Pradiktion benutzten Bildblockes gegeniiber einem zeitlich 
davorliegenden Referenzbild angeben. 

Aus der EP 0 55 8 922 B2 ist ein Verfahren zur Verbesserung 
der Bewegungsschatzung in Bildsequenzen in 

Halbpelgenauigkeit nach dem Full -Search- Verfahren bekannt . 
Dort wird in einem ersten Verf ahrensschritt der Suchbereich 
und in einem zweiten Verf ahrensschritt der Match-Block 
gefiltert unter Zuhilf enahme eines zusatzlichen digitalen 
Filters, daS eine Ras t erve r s chi ebung des Bildpunktrasters um 
% pel ermoglicht. Mit dieser Ma£nahme ist eine Verfalschung 
des Bewegungsvektorf eldes auszuschlie£en . 
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Beim „MPEG-4 Video Verification Model Version 7.0 n , Bristol, 
April 1997, MPEG- 97/N1642 in ISO/IEC JTCl/SC 29/WG11 ist ein 
Encoder und Decoder zur ob j ektbasierten Codierung von 
Bewegtbildf olgen spezif iziert . Dabei werden nicht mehr 
rechteckige Bilder fester GroSe codiert und zum Empfanger 
ubertragen, sondern sogenannte VIDEO OBJECTS (VO) , welche 
beliebige Form und GroSe aufweisen durfen. Die Abb il dung 
eines solchen VO in der Kamerabildebene zu einem bestimmten 
Zeitpunkt wird als VIDEO OBJECTS PLANE (VOP) bezeichnet . 
Somit ist die Beziehung zwischen VO und VOP Equivalent zu 
der Beziehung zwischen Bildfolge und Bild im Falle der 
Ubertragung rechteckiger Bilder fester Grofie . 

Die bewegungskompensierende Pradiktion im 

Verif ikationsmodell wird mit Hilfe sogenannter blockweiser 
Bewegungsvektoren durchgef uhrt , die fur jeden Block der 
Gr6£e 8x8 bzw. 16 x 16 Bildpunkte des aktuellen Bildes die 
Position des zur Pradiktion benutzten Blockes in einem 
bereits ubertragenen Referenzbild angeben. Die Auflosung der 
Bewegungsvektoren ist dabei auf einen halben Bildpunkt 
beschrankt, wobei Bildpunkte zwischen dem Abtastraster (half 
pixel position) durch eine bilineare Interpolationsf ilterung 
aus den Bildpunkten auf dem Abtastraster (integer pixel 
position) erzeugt werden (Figur 1).+ gibt hierbei die 
Ganzzahl-Pixel-Position und O die Halb-Pixel-Position an. 
Die interpolierten Werte a, b, c und d in Halb-Pixel- 
Position ergeben sich durch folgende Beziehungen: 
a = A, b = (A + B)//2, c = (A + C)//2, 

d= (A+B+C+ D)//4, wobei // eine gerundete Ganzzahl- 
Division kennzeichnet . 

Vorteile der Erfindung 

Mit den MaEnahmen der Erfindung laEt sich die Qualitat des 
Pradiktionssignals und somit die Kodierungsef f izienz 
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verbessern. Dabei wird zur Erzeugung von Bildpunkten 
zwischen dem Bildpunkt- Abtastraster eine groSere ortliche 
Nachbarschaf t beriicksichtigt , als bei der bilinearen 
Interpolation. Die erfindungsgemafie aliasing- reduzierende 
5 Interpolationsf ilterung fiihrt zu einer erhohten Auflosung 

des Bewegungsvektors und damit zu einem Pradiktionsgewinn 
und einer erhohten Codierungsef f izienz . Bei der Erfindung 
konnen die FIR-Filterkoef f izienten den zu codierenden 
Signalen angepaSt und fur jedes Video-Object getrennt 
10 iibertragen werden, was eine weitere Ef f izienzerhdhung fur 

die Codierung ermoglicht sowie die Flexibilitat des 
Verf ahrens erhoht . 

Im Gegensatz zur Losung gema£ der EP 0 558 922 Bl mussen 
15 keine zusatzlichen Polyphasenf il terstrukturen fur 

Zwischenpositionen mit V* pel -Bildpunktauf losung in 
horizontaler und vertikaler Richtung entworfen werden. 

Mit den MaSnahmen der Erfindung ist es moglich, da£ bei 
20 gleichbleibender Datenrate die Bildf olgef requenz eines MPEG- 

1-Coders von 25 Hz auf 50 Hz verdoppelt werden kann. Bei 
einem MPEG2 -Coder kann die Datenrate bei gleichbleibender 
Bildqualitat urn bis zu 30% reduziert werden. 

25 Zeichnungen 

Anhand von Zeichnungen werden nun Ausf uhrungbeispiele der 
Erfindung naher erlautert . Es zeigen: 

30 Figur 2 ein Interpolationsschema fur Bildpunkte zwischen dem 

Bildpunkt -Abtastraster , 

Figur 3 die Struktur eines FIR-Filters zur Interpolation, 
Figur 4 eine weitere Interpolation mit noch hoherer 
Auflosung . 
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Beschreibung von Ausf uhrungsbeispielen 

Beim Verfahren nach der Erfindung werden fur Bildblocke 
Bewegungsvektoren gebildet, die fur jeden Bildblock eines 
5 aktuellen Bildes die Position des zur Pradiktion benutzten 

Bildblockes gegeniiber einem zeitlich davorliegenden 
Ref erenzbild angeben . 

Die Bestimmung der Bewegungsvektoren fur die Pradiktion 
10 erfolgt in drei auf einanderf olgenden Schritten: 

In einem ersten Suchschritt wird ein Bewegungsvektor mit 
Pelgenauigkeit nach einem herkommlichen Verfahren, z.B. nach 
der Full - Search-Block-Matching-Methode , fur jeden Bildblock 
bestimmt . Hierbei wird das Minimum des Fehlerkriteriums fur 
15 mogliche Bewegungspositionen ermittelt und jener Vektor, der 

die Bewegung des Bildblockes am besten beschreibt, 
ausgewahlt (EP 0 368 151 Bl) . 

In einem zweiten Suchschritt, der wiederum auf einer solchen 

2 0 Minimumsuche fur das Fehlerkriterium basiert, wird ausgehend 

von dem im ersten Schritt ermittelten Bewegungsvektor mit 
Pelgenauigkeit durch eine alias ing-reduzierende 
Interpolationsf ilterung mittels eines digitalen 
symmetrischen FIR (finite impulse response) -Filters ein 
25 verbesserter Bewegungsvektor auf Subpelgenauigkeit 

ermittelt. Die Auflosung wird hierbei hoher gewahlt als im 
ersten Suchschritt, vorzugsweise wird eine Auflosung von 
einem halben Bildpunkt bezogen auf das Bildpunkt raster 
gewahlt. Figur 2 zeigt das Interpolationsmuster fur die 

3 0 Bildpunkte b, c und d zwischen dem Bildpunktraster, die sich 

aus den Nachbarbildpunkten A, B, C, D, E , F, G, H auf dem 
Bildpunktraster ergeben. + gibt die Ganzzahl-Pixelposition 
an, o die Halbpixelposition . Es gilt: 
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b = ( COlx (A_ i + A +1 ) + C02x (A_ 2 + A +2 ) + c ° 3x ( A -3 + A +3> + 
i C04x (A_ 4 + A +4 ))/256 

Ci = (C01x(A ± + Ei) + C02x(B i + F ± ) + C03x (C ± + G±) + 
G04X (D ± + H ± ) ) /256 
5 d = (C01x(c_ x + c +1 ) + C02x(c_ 2 + c +2 ) + C03x (c_ 3 + c +3 ) + 

C04x (c_ 4 + C +4 ) ) /2 56 

Die Struktur des verwendeten FIR- Interpol at ionsf liters ist 
aus Figur 3 ersichtlich. Es weist nach jeder 

10 Bildpunktposition Sp einen Abzweig zu einem Koef f izienten- 

bewerter l, 2, 3 usw. auf und eine Summa t i ons e inr i cht ung 10 
am Ausgang . Wie aus obigen Beziehungen ersichtlich ist, wird 
zur Erzeugung von Bildpunkten zwischen dem Abtastraster eine 
groJ^ere ortliche Nachbarschaf t beriicksicht igt , als bei der 

15 bilinearen Interpolation nach dem Stand der Technik. Die 

Interpolationsf ilterkoef f izienten C02 , C03 , C04 werden dabei 
so bestimmt, da£ die Interpolationsf ehlerleistung minimal 
wird. Die Koef f izienten konnen direkt mit dem bekannten 
Schat zverf ahren des kleinsten, mittleren guadratischen 

2 0 Fehlers bestimmt werden. Aus der Minimierung der 

Interpolationsf ehlerleistung erhalt man ein lineares 
Gleichungssystem, dessen Koef f izienten aus dem 
Orthogonalitatsprinzip abgeleitet werden konnen. Ein derart 
optimierter Satz von FIR-Filterkoef f izienten ist durch die 

25 Koeff izienten C01 = 161/256, C02 = -43/256, C03 = 23/256, 

C04 = -8/256 gegeben. 

Im dritten Suchschritt wird ausgehend von dem auf M 
Pelgenauigkeit bestimmten Bewegungsvektor durch eine weitere 
30 Interpolationsf ilterung eine lokale Suche unter 

► 

Zugrundelegung der acht Nachbarbildpunkte mit einer 
Auflosung, die noch weiter erhoht ist, vorzugsweise auf X A 
Bildpunkt, durchgef uhrt . Es wird wie zuvor der 
Bewegungsvektor ausgewahlt, der die geringste 
35 Pradiktionsf ehlerleistung liefert. 
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Das Interpol at ionsmuster hierzu zeigt Figur 4 . Die 
ganzzahligen Bildpunkt-Posit ionen sind mit X gekennzeichnet , 
die Halb- Pixel -Bildpuriktposit ionen mit o und die Viertel- 
5 Pixel-Bildpunktpositionen mit - . O markiert die beste 

Kompensation mit 1/2 -Bildpunkt und + die Viertelbildpunkt- 
Suchposition . 

Interpoliert wird beziiglich des Bildpunktrasters mit der 
10 Auflosung von einem halben Bildpunkt aus dem zweiten 

Suchschritt mit den FIR-Filterkoef f izienten COl' = 1/2, 
C02' - O, C03' = O, C04' = 0. 

Die gleiche zuvor vorgestellte Interpolationstechnik wird 
15 fur die bewegungskompensierende Pradiktion verwendet . 

Falls die Verarbeitung innerhalb eines Coders mit einem 
reduzierten Bildformat durchgefuhrt wird (SIF- Format 
innerhalb eines MPEG1 - Coders oder Q-CIF in einem H.263- 

2 0 Coder) , zur Anzeige aber das ursprungliche Eingangs format 

verwendet wird, z.B. CCIR 601 [1] bei MPEG-1 oder CIF bei 
H.2 63, muE als Nachverarbeitung eine ortliche 

Interpolationsf ilterung durchgefuhrt werden. Auch fur diesen 
Zweck kann die beschriebene aliasing-kompensierende- 
25 Interpolationsf ilterung verwendet werden. 

Urn die aliasing-kompensierende Interpolation mit 1/4 Pel 
Auflosung zu aktivieren, konnen in einen Bildubertragungs- 
Bitstrom Aktivierungsbits eingefiigt werden. 

30 

Fur die Pradiktion von Video-Ob jekten konnen die 
Filterkoeff izienten COl bis C04 und COl' bis C04 ' fur jedes 
der Video-Ob jekte VO getrennt aufbereitet werden und in den 
Bildubertragungs-Bitstrom zu Begirm der Ubertragung des 

3 5 jeweiligen Video-Ob jekts eingefiigt werden. 
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Zur Codierung eines Bewegungsvektors kann der Wertebereich 
der zu codierenden Bewegungsvektor-Dif f erenzen an die 
erhohte Auflosung angepaSt werden. 
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10 Anspriiche 

1. Verfahren zur Erzeugung eines verbesserten Bildsignals 
bei der Bewegungsschatzung von Bildsequenzen, insbesondere 
eines Pradikt ionssignals fur Bewegtbilder mit 

15 bewegungskompensierender Pradiktion, wobei fur Bildblocke 

Bewegungsvektoren gebildet werden, die fur jeden Bildblock 
eines aktuellen Bildes die Position des zur Pradiktion 
benutzten Bildblockes gegenuber einem zeitlich 
davorliegenden Referenzbild angeben, mit folgenden 

20 Schritten: 

- In einem ersten Suchschritt wird ein Bewegungsvektor auf 
Pelgenauigkeit bestimmt , 

in einem zweiten Suchschritt wird ausgehend von dem 
Bewegungsvektor mit Pelgenauigkeit durch eine aliasing- 

25 reduzierende Interpolationsf ilterung mittels eines digitalen 

Filters ein verbesserter Bewegungsvektor auf 
Subpelgenauigkeit ermittelt, wobei die Auflosung hoher 
gewahlt ist, als es der Auflosung des Bildpunktrasters im 
ersten Suchschritt entspricht und wobei zur Interpolation 

30 mehr Nachbarbildpunkte herangezogen werden als bei einer 

bilinearen Interpolation, 

- in einem dritten Suchschritt wird ausgehend von dem auf 
Subpelgenauigkeit bestimmten Bewegungsvektor durch eine 
weitere Interpolationsf ilterung mittels des digitalen 

35 Filters ein weiter verbesserter Bewegungsvektor ermittelt, 
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wobei die Auflosung gegeniiber dem zweiten Suchschritt 
nochmals erhoht wird und die Interpolation basierend auf dem 
Bildpunktraster mit der Auflosung im zweiten Suchschritt 
vorgenommen wird. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet , da£ 
zur Interpolationsf ilterung beim zweiten Suchschritt ein 
FIR-Filter verwendet wird mit den Filterkoef f izienten COl = 
161/256, C02 = -43/256, C03 = 23/256, C04 = -8/256. 

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, 
da£ zur Interpolationsf ilterung beim dritten Suchschritt ein 
FIR-Filter verwendet wird, mit den FIR- Filterkoef f izienten 
COl' = 1/2, C02' = 0, C03' = O, C04 ' = O. 

4. Verfahren nach einem der Anspruche 1 bis 3, dadurch 
gekennzeichnet, daS fur die Pradiktion von Video-Ob j ekten 
(VO) die Filterkoef f izienten des digitalen Filters/FIR- 
Filters fur jedes Video-Ob jekt getrennt aufbereitet werden 
und in einen Ubertragungsbitstrom zu Beginn der Ubertragung 
des jeweiligen Objektes eingefiigt werden. 

5. Verfahren nach einem der Anspruche 1 bis 4, dadurch 
gekennzeichnet, daS zur Codierung eines Bewegungsvektors , 
insbesondere fur eine Ubertragung der Wertebereich der zu 
codierende Bewegungs vektor - Di f f erenzen an eine erhohte 
Auflosung angepaSt wird. 
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